Agents' Last Exam
智能体的最终考试：面向真实经济工作流的通用Agent评测基准
🧭 Agent通用计算机使用能力评测基准 ★ 深度解读
University of California, Berkeley
覆盖55个职业子领域、1490个专家提交任务，评测Agent在长时程多模态计算机操作上的表现，最强模型整体通过率仅2.6%。
📌 工作参考价值（4 点）
- 任务设计范式：将专业工作流拆解为可验证的交付物和里程碑（gate-and-score），可直接用于构建电商客服、商品上架等Agent评测，避免LLM-as-judge的不可靠性。
- 工具使用剖析：发现Agent普遍用CLI代替GUI，导致在图形软件密集型任务上失败，提示在电商自动化（如美工、合规审查）中需显式强化GUI操作能力。
- 模型vs框架选择：模型对性能影响是框架的3倍，且资源消耗（时间、金钱）与成功率非正比，可指导选型——先用轻量框架+最强模型，再针对性优化工具集。
- 数据防污染：公共/私有任务池定期轮换，可借鉴到生产环境的Agent能力监控，防止过拟合或数据泄漏。